
package lexer;

import java.util.Iterator;

/**
 * Tokenizer.
 */
public interface Tokenizer {
	
	/**
	 * Extrae una cadena de tokens de una cadena de caracteres.
	 */
	Iterator<Token> getTokens(Iterator<Character> input);
	
}
